|
|
Rekurentní neuronové sítě pro klasifikaci textů
Myška, Vojtěch ; Kolařík, Martin (oponent) ; Povoda, Lukáš (vedoucí práce)
Diplomová práce se zabývá návrhem neuronových sítí pro klasifikaci pozitivních a negativních textů. Vývoj probíhal v programovacím jazyce Python. Návrh modelů hlubokých neuronových sítí byl proveden pomocí vysokoúrovňového API Keras využívající knihovnu pro numerické výpočty TensorFlow. Výpočetní operace byly provedeny pomocí GPU využívající CUDA architekturu. Výstupem práce je jazykově nezávislý model neuronových sítí umožňující klasifikaci textů na úrovni znaků. Vzorky byly úspěšně klasifikovány až v 93,64% případů. Trénovací a testovací data byla poskytnuta vícejazyčnou a Yelp databází. Simulace byly provedeny na 1200000 anglických, 12000 českých, německých a španělských textů.
|
|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
This works explores means of utilizing extra-sentential context in neural machine translation (NMT). Traditionally, NMT systems translate one source sentence into one target sentence, without any notion of the surrounding text. This is clearly insufficient and different from how humans translate text. For many high-resource language pairs, translations produced by NMT may be under certain, strict conditions, nearly indistinguishable from human produced translations. One of these conditions is that evaluators score the sentences separately. When evaluating whole documents, even the best NMT systems still fall short of human translators. This motivates the research of employing document level context in NMT, since there might not be much more space left to improve translations on the sentence level, at least for high resource languages and domains. This work summarizes recent state-of-the art approaches to context utilization, implements several of them, evaluates them both in terms of general translation quality and on specific context related phenomena, and analyzes their advantages and shortcomings. A hand-made context phenomena test set for English to Czech translation was created for this task.
|
|
|
Personal Voice Activity Detection
Sedláček, Šimon ; Landini, Federico Nicolás (oponent) ; Švec, Ján (vedoucí práce)
This work aims to implement, test, and evaluate a speaker-conditioned Voice Activity Detection (VAD) method called Personal VAD. The method builds upon an LSTM-based approach to VAD and its purpose is to introduce a system that can reliably detect speech of a target speaker, while retaining the typical characteristics of a VAD system, mainly in terms of small model size, low latency, and low necessary computational resources. The system is trained to distinguish between three classes: non-speech, target speaker speech, and non-target speaker speech. For this purpose, the method utilizes speaker embeddings as a part of the input feature vector to represent the target speaker. Some of the more heavyweight personal VAD variants also make use of speaker verification scores issued to each frame based on the target embedding, resulting in a more robust system. In addition to the one scoring method presented in the original article, two other scoring approaches are introduced, both outperforming the baseline method and improving the performance even for acoustically challenging conditions.
|
|
|
Rozpoznávání ručně psaného textu pomocí konvolučních sítí
Sladký, Jan ; Kišš, Martin (oponent) ; Hradiš, Michal (vedoucí práce)
Tato práce se zabývá rozpoznáváním ručně psaného textu za pomoci konvolučních neuronových sítí. Ze současných metod byl vybrán model sítě skládající se z konvolučních a rekurentních sítí s Connectionist Temporal Classification. Do takovéhoto modelu byl následně implementován prvek Vertical Attention Module, který vybírá relevantní informace v každém sloupci odpovídající textu na obrázku. Tento modul byl následně pomocí experimentů porovnáván s dalšími možnostmi vertikální agregace mezi konvoluční a rekurentní sítí. Experimenty probíhaly na datové sadě obsahující přes 80 000 řádků textu z českých dopisů 20. století. Výsledky ukazují, že Vertical Attention Module dosahuje téměř vždy nejlepších výsledků na všech použitých typech konvolučních sítí. Výsledná síť dosáhla nejlepšího výsledku při chybě 8,9% na znak. Přínosem této práce je neuronová síť s nově zavedeným prvkem, která dokáže rozpoznávat řádky textu.
|
|
|
Audio signal modelling using neural networks
Pešán, Michele ; Ištvánek, Matěj (oponent) ; Miklánek, Štěpán (vedoucí práce)
Neural networks based upon the WaveNet architecture and recurrent neural networks are nowadays used in human speech synthesis and other various tasks such as "black-box" modeling systems for acoustic signals alteration (modulation effects, non-linear distortion units, etc.). This work aims, to sum up existing methods of neural network use in acoustic signal modeling. Next, the student is to implement chosen model of neuron network Python and will train this architecture to perform a simulation of desirable sound effect or acoustic alteration system. The task for this semester is, to sum up existing knowledge concerning neural networks. Training database of sound samples and implementation of a sound modeling neural net is to be created as well. Through recent years, neural networks have been used more and more extensively across many science fields. Neural networks based upon the WaveNet architecture and recurrent neural networks are nowadays used in human speech synthesis and other various tasks such as "black-box" modeling systems for acoustic signals alteration (modulation effects, non-linear distortion units, etc.). This academic work provides a brief introduction to the neural network terminology and common practice, elaborates on several types of neural network types, the main focus on DeepMind's WaveNet. Furthermore describes and compares results of experimental implementation of WaveNet and other types of neural network in audio signal "black-box" modeling tasks.
|
|
|
Odezírání ze rtů pomocí hlubokých neuronových sítí
Kadleček, Josef ; Kišš, Martin (oponent) ; Hradiš, Michal (vedoucí práce)
Tato práce se zabývá současnými metodami pro přepis řeči na text a odezírání ze rtů za pomoci neuronových sítí. Následně se zabývá podobností architektur neuronových sítí operujících nad zvukem a videem při rozpoznávání řeči a porovnává dostupné audiovizuální datové sady. Výsledkem práce je sada experimentů porovnávající různé zásahy do modelu a jejich dopad na výsledky. Dále je součástí implementace systému pro přepis řeči (CER: 12.6 %) a pro odezírání ze rtů (CER: 57,7 %). Architektury obou systémů jsou založeny na extrakci příznaků pomocí konvolučních vrstev. Za nimi následují rekurentní vrstvy LSTM, další řada konvolučních vrstev a hodnotící funkce CTC.
|
|
|
Fundamentální analýza numerických dat pro automatický trading
Huf, Petr ; Szőke, Igor (oponent) ; Černocký, Jan (vedoucí práce)
Tato práce se zabývá využitím fundamentální analýzy v automatickém obchodování. Technická analýza využívá k predikci ceny hlavně její historické hodnoty a indikátory z této ceny odvozené. Fundamentální analýza naopak využívá informace z různých zdrojů k predikci cenového signálu, přičemž v této práci byly zkoumány pouze kvantitativní zdroje dat. Konkrétně se jedná o počasí, Forex, Google Trends, WikiTrends, historické ceny různých futures a souhrnná fundamentální data (porodnost, migrace, \dots). Takto získána data jsou zpracovávána LSTM neuronovou sítí, která provádí predikci ceny vybraných akcií. Na základě této predikce je postaven obchodní systém. Experimenty v této práci ukazují na zlepšení výsledků obchodního systému až o 8\% v úspěšnosti predikce díky zapojení fundamentální analýzy.
|
|
|
Automatické generování harmonie
Bobčík, Martin ; Drahošová, Michaela (oponent) ; Vašíček, Zdeněk (vedoucí práce)
Cílem této diplomové práce je studium problematiky generování harmonie na základě znalosti melodie a navržení systému, který tuto činnost smysluplně automatizuje. V práci je popsán základ hudební nauky pro toto téma a předchozí a jiné přístupy k této problematice. Dále je popsáno strojové učení, neuronové sítě a rekurentní neuronové sítě. Je nastíněn návrh systému, postup jeho zprovoznění a použití. Se systémem byly provedeny čtyři experimenty. Harmonizace krátkých melodií uspokojivé nebyly. Nicméně harmonizace delších melodií vykazovaly obecně lepší výsledky. Jako možný důvod se jeví relativně malá použitá neuronová síť v systému.
|
|
|
Rekurentní neuronové sítě pro rozpoznávání řeči
Nováčik, Tomáš ; Karafiát, Martin (oponent) ; Veselý, Karel (vedoucí práce)
Tato diplomová práce se zabývá implementací rekurentních neuronových sítí v prostředí jazyka lua za pomocí knihovny torch. Řeší problematiku trénování rekurentních neuronových sítí a to jak z hlediska optimální trénovací strategie, tak z hlediska urychlení trénovacího procesu. Zkoumá zakomponování technik batch normalizace a dropout do architektur rekurentních neuronových sítí. Jednotlivé typy rekurentních sítí jsou následně porovnány na úkolu rozpoznávání řeči prostřednictvým datové sady AMI, kde slouží pro modelování akustického modelu, a dochází ke srovnání s klasickou dopřednou neuronovou sítí. Nejlepší výsledek je dosažen prostřednictvým rekurentní neuronové sítě BLSTM. Následně dojde k natrénování rekurentních neuronových sítí prostřednictvím objektivní funkce CTC na databázi TIMIT, kde nejlepšího výsledku opět dosáhne BLSTM.
|
|
|
Automatické generování harmonie
Bobčík, Martin ; Drahošová, Michaela (oponent) ; Vašíček, Zdeněk (vedoucí práce)
Cílem této diplomové práce je studium problematiky generování harmonie na základě znalosti melodie a navržení systému, který tuto činnost smysluplně automatizuje. V práci je popsán základ hudební nauky pro toto téma a předchozí a jiné přístupy k této problematice. Dále je popsáno strojové učení, neuronové sítě a rekurentní neuronové sítě. Je nastíněn návrh systému, postup jeho zprovoznění a použití. Se systémem byly provedeny tři experimenty. Harmonizace melodií však nebyly uspokojivé. Jako možný důvod se jeví relativně malá použitá neuronová síť v systému.
|
host ::
RSS.